The segmentation issue: general stopping criteria and specific design considerations for practical application of evolutionary algorithms

Segmentation is a tool presented for representation and approximation of data, according to a set of appropriate models. These procedures have applications to many different domains, such as time series analysis, polygonal approximation, Air Traffic Control,... Different heuristic and metaheuristic proposals have been introduced to deal with this issue. This thesis provides a novel multiobjective evolutionary method, analyzing the required general tools for the application evolutionary algorithms to real problems and the specific modifications required over the different steps of general proposals to adapt them to the segmentation domain. An introduction to the domain is presented by means of the design of a specific heuristic for segmentation of Air Traffic Control (ATC) data. This domain has a series of characteristics which make it difficult to be faced with traditional techniques: noisy data and a large number of measurements. The proposal works on two phases, using a pre-segmentation which introduces available domain information and applying a standard technique over this initial technique's results. Its results according to the presented domain, tested with a set of eight different representative trajectories, show competitive advantages compared to general approaches, which oversegmentate noisy data and, in some cases, exhibit poor scalability. This heuristic proposal shows the costly process of adapting available approaches and designing specific ones, along with the multi-objective nature of the problem, which requires the use of quality indicators for a proper comparison process. Applying evolutionary algorithms to segmentation provides several advantages, highlighting the fact that the problem dependance of heuristics make it costly to adapt these heuristics to new domains, as introduced by the designed heuristic to ATC. However, the practical application of these algorithms requires the study of a topic which has received little research effort from the community: stopping criteria. An evolutionary approach should contain a dynamic procedure which can determine when stagnation has taken place and stop the algorithm accordingly (as opposed to a-priori cost budgets, either in function evaluations or generations, which are usually applied for test datasets). Stopping criteria have been faced for single and multi-objective cases in this thesis. Single-objective stopping criteria have been approached proposing an active role of the stopping criteria, actively increasing the diversity in the variable space while tracking the updates in the fitness function. Thus, the algorithm reuses the information obtained for the stopping decision and feeds it to a stopping prevention mechanism in order to prevent problematic situations such as early convergence. The presented algorithm has been tested according to a set of 27 different functions, with different characteristics regarding their dimensionality, search space, local minima... The results show that the introduced mechanisms enhance the robustness of the results, due to the improved exploration and the early convergence prevention. Multi-objective stopping criteria are faced with the use of progress indicators (comparison measures of the quality of the evolution results at different generations) and an associated data gathering tool. The final proposal uses three different progress indicators, (hypervolume, epsilon and Mutual Dominance Rate) and considers them jointly according to a decision fusion architecture. The stagnation analysis is based on the least squares regression parameters of the indicators values, including a normality analysis as well. The online nature of these algorithms is highlighted, preventing the recomputation of the indicators values which were present in other available alternatives, and also focusing on the simplicity of the final proposal, in order to reduce the cost of introducing it into available algorithms. The proposal has been tested with instances of the DTLZ algorithm family, obtaining satisfactory stops with a standard set of configuration values for the technique. However, there is a lack of quantitative measures to determine the objective quality of a stop and to properly compare its value to other alternatives. The multi-objective nature of the segmentation problem is analyzed to propose a multiobjective evolutionary algorithm (MOEA) to deal with it. This nature is analyzed according to a selection of available approaches, highlighting the difficulties which had to be faced in the parameter configuration in order to guide the processes to the desired solution values. A multi-objective a-posteriori approach such as the one presented allows the decision maker to choose from the front of possible final solutions the one which suits him best, simplifying this process. The presented approach chooses SPEA2 as its underlying MOEA, analyzing different representation and initialization proposals. The results have been validated against a representative set of heuristic and metaheuristic techniques, using three widely extended curves from the polygonal approximation domain (chromosome, leaf and semicircle), obtaining statistically better results for almost all the different test cases. This initial MOEA approach had unresolved issues, such as the archiving technique complexity order, and also lacked the proper specific design considerations to adapt it to the application domain. These issues have been faced according to different improvements. First of all, an alternative representation is proposed, including partial fitness information and associated fitness-aware transformation operators (transformation operators which compute children fitness values according to their changes and the parents partial values). A novel archiving procedure is introduced according to the bi-objective nature of the domain, being one of them discrete. This leads to a relaxed Pareto dominance check, named epsilon glitches. Multi-objective local search versions of the traditional algorithms are proposed and tested for the initialization of the algorithm, along with the stopping criterion proposal which has also been adapted to the problem characteristics. The archive size in this case is big enough to contain all the different individuals in the optimal front, such that quality assessment is simplified and a simpler mechanism can be introduced to detect stagnation, according to the improvements in each of the possible individuals. The final evolutionary proposal is scalable, requires few configuration parameters and introduces an efficient dynamic stopping criterion. Its results have been tested against the original technique and the set of heuristic and metaheuristic techniques previously used, including the three original curves and also more complex versions of them (obtained with an introduced generation mechanism according to these original shapes). Even though the stopping results are very satisfactory, the obtained results are slightly worse than the original MOEA for the three simpler problem instances with the established configuration parameters (as was expected, due to the computational effort of the a-priori established number of generations and population size, based on the analysis of the algorithm's results). However, the comparison versus the alternative techniques stills shows the same statistically better results, and its reduced computational cost allows its application to a wider set of problems.La segmentación es una técnica creada para la representación y la aproximación de conjuntos de datos a través de un conjunto de modelos apropiados. Estos procedimientos tienen aplicaciones para múltiples dominios distintos, como el análisis de series temporales, la aproximación poligonal o el Control de Tráfico Aéreo. Se han hecho múltiples propuestas tanto de carácter heurístico como metaheurístico para lidiar con este problema. Esta tesis proporciona un nuevo método evolutivo multiobjetivo, analizando las herramientas generales necesarias para la aplicación de algoritmos evolutivos a problemas reales y las modificaciones específicas necesarias sobre los distintos pasos de las propuestas genéricas para adaptarlos al dominio de la segmentación. Se presenta una introducción al dominio mediante el diseño de una heurística específica para la segmentación de datos procedentes del Control de Tráfico Aéreo (CTA). Este dominio tiene una serie de características que dificultan la aplicación de técnicas tradicionales: datos con ruido y un gran número de muestras. La propuesta realizada funciona de acuerdo a dos fases, utilizando una presegmentación que introduce información del dominio disponible para posteriormente aplicar una técnica estándar sobre los resultados de esta técnica inicial. Sus resultados para el dominio presentado, probado con un conjunto de ocho trayectorias representativas distintas, presentan ventajas competitivas frente a los enfoques generales, que sobresegmentan los datos con ruido y, en algunos casos, presentan una mala escalabilidad. Esta propuesta heurística muestra el costoso proceso que implica adaptar los enfoques existentes o el diseño de otros nuevos, junto a la naturaleza multiobjectivo del problema, que precisa del uso de indicadores de calidad para realizar un proceso de comparación apropiado. La aplicación de algoritmos evolutivos a la segmentación tiene múltiples ventajas, destacando el hecho de la dependencia existente entre las heurísticas y el problema específico para el que han sido diseñadas, lo que hace que su adaptación a nuevos dominios sea costosa, como se ha introducido a través de la propuesta heurística para CTA. A pesar de ello, la aplicación práctica de estos algoritmos requiere el estudio de una faceta que ha recibido poca atención por parte de la comunidad desde el punto de vista de la investigación: los criterios de parada. Un enfoque evolutivo debería tener una técnica dinámica que pueda detectar cuando se ha producido el estancamiento del proceso, y parar el algoritmo de acuerdo a ello (de manera opuesta a los criterios a-priori que establecen un coste predeterminado, expresado como número de evaluaciones o de generaciones, y que son habitualmente aplicados para los conjuntos de datos de prueba). Los criterios de parada se han afrontado tanto desde el caso de un único objetivo como desde el caso multiobjectivo en esta tesis. Los criterios de parada para un único objetivo se han abordado proponiendo un rol activo para el criterio, aumentando la diversidad en el espacio de variables de una manera activa, mientras se monitorizan los cambios en la función objetivo. De esta manera, el algoritmo reutiliza la información obtenida para la decisión de parada y la inserta en un mecanismo de prevención de la parada con la finalidad de prevenir situaciones problemáticas como la convergencia temprana. El algoritmo presentado se ha probado sobre un conjunto de 27 funciones distintas, con diferentes características respecto a su dimensionalidad, espacio de búsqueda, mínimos locales... Los resultados muestran que los mecanismos introducidos mejoran la robustez de los resultados, haciendo uso de la exploración mejorada y la prevención de la convergencia temprana. Los criterios de parada multiobjetivo se han planteado con el uso de indicadores de avance (medidas comparativas de la calidad de los resultados de la evolución en diferentes generaciones) y una herramienta de recolección de datos asociada. La propuesta final utiliza tres indicadores de avance distintos (hypervolumen, epsilon y ratio de dominancia mutua) y los considera de una manera conjunta de acuerdo a una arquitectura de fusión de decisiones. El análisis del estancamiento se basa en los parámetros de una regresión de mínimos cuadrados sobre los valores de los indicadores, incluyendo asimismo un análisis de normalidad. Se recalca la naturaleza online de estos algoritmos, evitando el recálculo de los valores de los indicadores que estaba presente en otras alternativas disponibles, y también focalizándose en la simplicidad de la propuesta final, de manera que se facilite el proceso de introducir el criterio en los algoritmos existentes. La propuesta ha sido probada con instancias de la familia de algoritmos DTLZ, obteniendo resultados de parada satisfactorios con un conjunto de valores de configuración estándar para la técnica. Sin embargo, existe una falta de medidas cuantitativas para determinar la calidad objetiva de una parada, así como para comparar de manera apropiada su valor frente al de otras alternativas. La naturaleza multiobjetivo del problema de segmentación se ha analizado para proponer un algoritmo evolutivo multiobjetivo (AEMO) para resolverlo. Esta naturaleza ha sido analizada de acuerdo a una selección de los enfoques disponibles, destacando las dificultades que se tienen que afrontar en la configuración de los parámetros de cara a guiar el proceso hacia los valores de solución deseados. Un enfoque multiobjetivo a-posteriori como el que se ha presentado permite al responsable elegir del frente de posibles soluciones finales aquella que encaja mejor, simplificando este proceso. El enfoque presentado ha elegido SPEA2 como algoritmo de base, analizando diferentes propuestas de inicialización y representación. Los resultados se han validado frente a un conjunto significativo de técnicas heurísticas y metaheurísticas, utilizando tres curvas ampliamente extendidas en el dominio de la segmentación poligonal (cromosoma, hoja y semicírculo), obteniendo resultados estadísticamente mejores para la casi totatilidad de los casos de prueba. Esta propuesta inicial de AEMO presentaba una serie de problemas sin resolver, como el orden de complejidad de la técnica de almacenaje, y además carecía de las consideraciones específicas de diseño para su adaptación al dominio de aplicación. Estos problemas se han afrontado de acuerdo a diferentes mejoras. Por un lado, se ha propuesto una representación alternativa, incluyendo información parcial de la función objetivo y operadores de transformación informados (operadores de transformación que calculan los valores de la función objetivo de los hijos de acuerdo a los cambios realizados y los valores parciales de los padres). Una nueva técnica de almacenaje se ha introducido de acuerdo a la naturaleza biobjetivo del dominio, siendo uno de ellos además discreto. Esta naturaleza ha llevado a la aplicación de una forma relajada de dominancia de Pareto, que hemos denominado pulsos épsilon. Versiones multiobjetivo de los algoritmos tradicionales de búsqueda local han sido propuestas y probadas para la inicialización del algoritmo, junto con la propuesta de criterio de parada, que también ha sido adaptada a las características del problema. En este caso, el tamaño del almacén es suficientemente grande como para almacenar todos los individuos del frente óptimo, de manera que las técnicas de análisis de calidad de los frentes se simplifican, y un mecanismo más sencillo puede ser introducido para detectar el estancamiento, de acuerdo a las mejoras en cada uno de los individuos posibles. La propuesta evolutiva final es escalable, requiere pocos parámetros de configuración e introduce un criterio de parada dinámico y eficiente. Sus resultados se han probado frente a la técnica original y el conjunto de técnicas heurísticas y metaheurísticas previamente utilizadas, incluyendo las tres curvas originales y versiones más complejas de las mismas (obtenidas con un mecanismo de generación incluido de acuerdo a estas tres formas originales). A pesar de que los resultados de parada son muy satisfactorios, los resultados obtenidos son ligeramente peores que el AEMO original para las tres instancias del problema más simples, utilizando el conjunto de parámetros de configuración establecidos (como cabía esperar, dado el coste computacional del número de generaciones y tamaño de la población establecidos a priori, basados en el análisis de los resultados del algoritmo). En cualquier caso, la comparación frente a las técnicas alternativas todavía presenta los mismos resultados estadísticamente mejores, y las mejoras en el coste computacional permiten su aplicación a un mayor conjunto de problemas.Programa Oficial de Doctorado en Ciencia y Tecnología InformáticaPresidente: Pedro Isasi Viñuela.- Secretario: Rafael Martínez Tomás.- Vocal: Javier Segovia Pére

Piecewise Linear Representation Segmentation in Noisy Domains with a Large Number of Measurements: The Air Traffic Control Domain

The importance of time series segmentation techniques is rapidly expanding, due to the growth in collection and storage technologies. Among them, one of the most used ones is Piecewise Linear Representation, probably due to its ease of use. This work tries to determine the difficulties faced by this technique when the analyzed time series shows noisy data and a large number of measurements and how to introduce the information about the present noise in the segmentation process. Both difficulties are met in the Air Traffic Control domain, which exhibits position measurements of aircraft's trajectories coming from sensor devices (basically surveillance radar and aircraft-derived data), being used as the motivating domain. Results from the three main traditional techniques are presented (sliding window, top down and bottom up approaches) and compared with a new introduced approach, the Hybrid Local Residue Analysis technique.This work was supported in part by Projects CICYT TIN2008-06742-C02-02/TSI, CICYT TEC2008-06732-C02-02/TEC, CAM CONTEXTS (S2009/TIC-1485) and DPS2008-07029-C02-02Publicad

Robust sensor fusion in real maritime surveillance scenarios

8 pages, 14 figures.-- Proceedings of: 13th International Conference on Information Fusion (FUSION'2010), Edinburgh, Scotland, UK, Jul 26-29, 2010).This paper presents the design and evaluation of a sensor fusion system for maritime surveillance. The system must exploit the complementary AIS-radar sensing technologies to synthesize a reliable surveillance picture using a highly efficient implementation to operate in dense scenarios. The paper highlights the realistic effects taken into account for robust data combination and system scalability.This work was supported in part by a national project with NUCLEO CC, and research projects CICYT TEC2008-06732-C02-02/TEC, CICYT TIN2008-06742-C02-02/TSI, SINPROB, CAM CONTEXTS S2009/TIC-1485 and DPS2008-07029-C02-02.Publicad

An Alternative Archiving Technique for Evolutionary Polygonal Approximation

Proceedings of: Fifth International Conference on Future Computational Technologies and Applications (FUTURE COMPUTING 2013), Valencia, Spain, May 27 - June 1, 2013Archiving procedures are a key parameter for Multi-objective evolutionary algorithms, since they guarantee the algorithm convergence and the good spread of the obtained solutions in the final Pareto front. For many practical applications, the cost of the algorithm is clearly dominated by the computational cost of the underlying fitness functions, allowing complex processes to be incorporated into the archiving procedure. This work presents a study of the archiving technique for evolutionary polygonal approximation (the division of a given curve into a set of n segments represented by a linear model) based on the epsilon-glitch concept, highlighting the cost of the technique compared to the fitness computation, and proposing a novel alternative archiving procedure, which yields statistically significant better results compared to available approaches.This work was supported in part by Projects MINECO TEC2012-37832-C02-01, CICYT TEC2011-28626-C02-02, CAM CONTEXTS (S2009/TIC-1485)Publicad

Initialization Procedures for Multiobjective Evolutionary Approaches to the Segmentation Issue

Proceedings of: 7th International Conference, HAIS 2012, Salamanca, Spain, March 28-30, 2012.Evolutionary algorithms have been applied to a wide variety of domains with successful results, supported by the increase of computational resources. One of such domains is segmentation, the representation of a given curve by means of a series of linear models minimizing the representation error. This work analyzes the impact of the initialization method on the performance of a multiobjective evolutionary algorithm for this segmentation domain, comparing a random initialization with two different approaches introducing domain knowledge: a hybrid approach based on the application of a local search method and a novel method based on the analysis of the Pareto Front structure.This work was supported in part by Projects CICYT TIN2011-28620-C02-01, CICYT TEC2011-28626-C02-02, CAM CONTEXTS (S2009/TIC-1485) and DPS2008-07029-C02-02.Publicad

A multi-objective approach for the segmentation issue

Special Issue: Multi-objective metaheuristics for multi-disciplinary engineering applicationsThis work presents and formalizes an explicit multi-objective evolutionary approach for the segmentation issue according to Piecewise Linear Representation, which consists in the approximation of a given digital curve by a set of linear models minimizing the representation error and the number of such models required. Available techniques are focused on the minimization of the quality of the obtained approximation, being the cost of that approximation considered, in general, only for certain comparison purposes. The multi-objective nature of the problem is analysed and its treatment in available works reviewed, presenting an a posteriori approach based on an evolutionary algorithm. Three representative curves are included in the data set, comparing the proposed technique to nine different techniques. The performance of the presented approach is tested according to single and multiobjective perspectives. The statistical tests carried out show that the experimental results are, in general, significantly better than available approaches from both perspectives.This work was supported in part by Projects CICYT TIN2008-06742-C02-02/TSI, CICYT TEC2008-06732-C02-02/TEC, CAM CONTEXTS (S2009/TIC-1485) and DPS2008-07029-C02-02.Publicad

A Robust Memetic Algorithm with Self-Stopping Capabilities

Proceedings of: 13th annual conference on companion on Genetic and evolutionary computation (GECCO '11). July 12-16, 2011.Evolutionary algorithms exhibit some traditional handicaps: lack of a stopping criterion, slow convergence towards the minimum, etc. Memetic algorithms try to combine the best exploration qualities of population based approaches with the exploitation qualities of local search ones. The proposed solution in this work, Robust Evolutionary Strategy Learned with Automated Termination Criteria (R-ESLAT) uses a memetic approach, combining an evolutionary strategy with derivative-free local search methods, adding as well a termination criteria based on the population diversity, according to the principles of the original ESLAT algorithm. The original algorithm is analyzed and its features improved towards an increased robustness, comparing the results obtained with the Covariance Matrix Adaptation Evolutionary Strategy (CMAES).The authors would like to thank Alfonso Gómez-Jordana for his help in the development of the original algorithm. This work was supported in part by Projects CICYT TIN 2008- 06742-C02-02/TSI, CICYT TEC 2008-06732-C02-02/ TEC, CAM CONTEXTS (S2009/TIC-1485) and DPS2008-07029- C02-02.Publicad

Integrating Multicamera Surveillance Systems into Multiagent Location Systems

Proceedings of: Workshop on User-Centric Technologies and Applications (CONTEXTS 2011) Salamanca, April 6-8 , 2011Users are increasingly demanding personalized services based on their context, being one of the key features of that context the user's position. There are a wide number of possible solutions to deal with the positioning issue, which, for different situations, may have different accuracy requirements. This paper presents this issue from the point of view of an existing multicamera surveillance system which requires to be integrated into a multiagent positioning system, including a tracking example with the presented architecture.This work was supported in part by Projects CICYT TIN2008-06742-C02-02/TSI, CICYT TEC2008-06732-C02-02/TEC, CAM CONTEXTS (S2009/TIC-1485) and DPS2008-07029-C02-02.Publicad

Método rápido y biocompatible de extracción, saponificación y concentración de ácidos grasos poliinsaturados (PUFAS) por diferencias de solubilidad a partir de biomasa

Número de publicación: ES2289898 A1 (01.02.2008) También publicado como: ES2289898 B1 (16.12.2008) Número de Solicitud: Consulta de Expedientes OEPM (C.E.O.)P200502741 (10.11.2005)La invención proporciona un método para preparar un concentrado de ácidos grasos poliinsaturados (PUFAS) a partir de biomasa que comprende: (a) extraer y saponificar la biomasa mediante tratamiento con un alcohol inferior y un hidróxido de metal alcalino a 75-90ºC; (b) enfriar la mezcla obtenida en (a) para obtener una fase líquida y una fase sólida; (c) filtrar la fase sólida a la temperatura de enfriamiento; (d) acidificar el filtrado; (e) extraer el filtrado acidificado con un disolvente orgánico; y (f) purificar el extracto destilando el disolvente; en el que en la etapa (a) el alcohol inferior es etanol absoluto y el hidróxido de metal alcalino es hidróxido sódico sólido; y el enfriamiento de la etapa (b) y la filtración de la etapa (c) se llevan a cabo a una temperatura de 0-4ºC. El concentrado de PUFAS así obtenido puede usarse en la industria agroalimentaria, farmacéutica o química.Universidad de Almería. Oficina de Transferencia de Resultados de Investigación (OTRI

Algoritmos evolutivos guiados por redes complejas libres de escala

Evolutionary computation algorithms allow solving optimization problems through defined iterations and stages. One of the most commonly employed techniques for this type of problem is differential evolution, which contains properties of small-world complex networks, whose study is important because of the results they generate for optimization problems. Considering the results obtained in previous works, which propose an evolutionary algorithm guided by complex small-world networks, a proposal is defined which contains complex scale-free networks, with the purpose of validating the averages generated by complex networks against the results obtained by the traditional evolutionary algorithm. An experiment was defined which allows evaluating the performance of the proposed model and that of the evolutionary algorithm by means of statistic indicators. Four optimization problems (Ackley, Beale, Camel, and Sphere) were also used to evaluate the hypothesis in the proposed model, its convergence, and the reduction of execution times compared to the base model. It was observed that the scale-free complex networks generated better averages than the traditional evolutionary algorithm and the small-world networks because they use a connection preferential mechanism between their nodes and guide the combination of individuals (solutions), thus improving the convergence rate and the performance of the evolutionary algorithm in general.Los algoritmos de computación evolutiva permiten solucionar problemas de optimización a partir de iteraciones y etapas definidas. Una de las técnicas más utilizadas para este tipo de problemas es la evolución diferencial, que contiene propiedades de redes complejas de pequeño mundo, cuyo estudio es importante por los resultados que generan a los problemas de optimización. Teniendo en cuenta los resultados obtenidos en trabajos previos, en los que se propone un algoritmo evolutivo guiado por redes complejas de pequeño mundo, se define una propuesta que incluye redes complejas libres de escala, con el fin de validar los promedios generados por las redes complejas frente a los resultados presentados por el algoritmo evolutivo tradicional. Se definió un experimento que permite evaluar el desempeño del modelo propuesto y el del algoritmo evolutivo a través de indicadores estadísticos. También se utilizaron cuatro problemas de optimización (Ackley, Beale, Camel y Sphere) para evaluar la hipótesis en el modelo propuesto, su convergencia y la disminución de tiempos de ejecución frente al modelo base. Se observó que las redes complejas libres de escala generan mejores promedios que el algoritmo evolutivo tradicional y las redes complejas de pequeño mundo porque utilizan un mecanismo de conexión preferencial entre sus nodos y guían la combinación de individuos (soluciones), mejorando la tasa de convergencia y el rendimiento del algoritmo evolutivo en general